Sao lùn nâu (brown dwarf), một thuật ngữ do Jill Tarter đặt ra năm 1975, ban đầu được gọi là sao lùn đen, một kiểu xếp hạng các vật thể dưới sao có màu tối, trôi nổi tự do trong vũ trụ, có khối lượng quá thấp để duy trì phản ứng tổng hợp hydro ổn định (thuật ngữ sao lùn đen hiện chỉ một ngôi sao lùn trắng đã lạnh đi tới mức không còn phát xạ nhiệt độ hay ánh sáng). Những tên khác đã được đề xuất, gồm Planetar và Substar.

Những lý thuyết ban đầu liên quan tới trạng thái của những ngôi sao có khối lượng thấp nhất và giới hạn đốt cháy hydro cho rằng các vật thể với khối lượng nhỏ hơn 0.07 khối lượng Mặt Trời đối với các vật thể thuộc Population I hay các vật thể với khối lượng nhỏ hơn 0.09 khối lượng Mặt Trời đối với các vật thể thuộc Population II sẽ không bao giờ đi theo quá trình tiến hóa sao thông thường mà sẽ trở thành một ngôi sao suy thoái hoàn toàn (Kumar 1963). Vai trò của việc đốt cháy deuterium đối với vật thể nhỏ tới 0.012 khối lượng Mặt Trời và sức nén của sự hình thành bụi trong các khí quyển lạnh bên ngoài các ngôi sao lùn nâu đã được biết đến ở cuối những năm 80. Tuy nhiên, rất khó để phát hiện ra chúng trên bầu trời đêm, bởi chúng không phát xạ ánh sáng. Những phát xạ mạnh nhất đều ở trong quang phổ hồng ngoại (IR), và những máy thám sát hồng ngoại trên Trái Đất quá thiếu chính xác ở thời điểm ấy để sẵn sàng xác định bất kỳ ngôi sao lùn nâu nào.

Từ những bước đầu đó, nhiều nghiên cứu về các biện pháp khác nhau đã được tiến hành để tìm ra các vật thể đó. Một số biện pháp trong số đó gồm thám sát hình ảnh đa màu quanh các ngôi sao từ trường, thám sát chụp ảnh các sao đồng hành có ánh sáng yếu của những ngôi sao lùn thuộc dãy chính và các sao lùn trắng, thám sát các chùm sao trẻ và vận tốc quay kiểm tra cho các sao đồng hành cự ly gần.

Trong nhiều năm, những nỗ lực nhằm phát hiện các ngôi sao lùn nâu không mang lại kết quả và các cuộc nghiên cứu để tìm chúng dường như là vô ích. Tuy nhiên, vào năm 1988, hai giáo sư Eric Becklin và Ben Zuckerman thuộc Đại học California, Los Angeles đã xác định một ngôi sao đồng hành mờ của GD 165 trong một cuộc thám sát hồng ngoại những ngôi sao lùn trắng. Quang phổ của GD 165B rất đỏ và khác thường, không hề có các đặc tính thường thấy của một ngôi sao lùn đỏ khối lượng thấp thông thường. Cuối cùng mọi việc trở nên rõ ràng rằng GD 165B phải được xếp hạng như một vật thể lạnh hơn nhiều so với những ngôi sao lùn kiểu M mới được biết đến gần nhất khi ấy. GD 165B tiếp tục là trường hợp duy nhất trong gần một thập kỷ cho tới khi chương trình Two Micron All Sky Survey (2MASS) được thực hiện khi Davy Kirkpatrick, trong Viện kỹ thuật California, cùng những người khác khám phá nhiều vật thể với màu sắc và đặc điểm quang phổ tương tự.

Ngày nay, GD 165B được công nhận là nguyên mẫu của một lớp vật thể hiện được gọi là "sao lùn nâu L". Tuy việc khám phá ngôi sao lùn lạnh nhất có tầm quan trọng lớn ở thời điểm ấy, mọi người tranh cãi liệu GD 165B sẽ được xếp hạng là một sao lùn nâu hay đơn giản là một ngôi sao có khối lượng rất thấp, bởi theo quan sát, rất khó để phân biệt nó thuộc loại nào trong hai loại đó.

Khá thú vị, ngay sau khi GD 165B được phát hiện các ứng cử viên khác để trở thành sao lùn nâu cũng được thông báo. Tuy nhiên, đa số đã không chính xác, và với những kiểm tra thêm về tình trạng dưới sao, như kiểm tra lithium, nhiều vật thể hóa ra là các vật thể sao chứ không phải những ngôi sao lùn nâu thực sự. Khi còn trẻ (lên tới một tỷ năm tuổi), các ngôi sao lùn nâu có thể có nhiệt độ và độ sáng tương tự như một số ngôi sao, vì thế các đặc tính phân biệt khác là cần thiết, như sự hiện diện của lithium. Đa số các ngôi sao sẽ đốt hết lithium trong vòng chưa tới 100 triệu năm, trong khi đa số những ngôi sao lùn nâu không bao giờ có nhiệt độ lõi đủ lớn để làm việc này. Vì thế, việc kiểm tra lithium trong khí quyển một vật thể ứng cử viên sẽ đảm bảo nó có phải là một sao lùn nâu không.

Năm 1995 việc nghiên cứu sao lùn nâu đã thay đổi mạnh với swj phát hiện ba vật thể dưới sao rõ ràng, một số đã được xác định có sự hiện diện của dòng 6708 Li. Vật thể đáng chú ý nhất là Gliese 229B được phát hiện có nhiệt độ và độ sáng thấp hơn nhiều so với phạm vi của các ngôi sao. Đáng chú ý, quang phổ gần hồng ngoại của nó thể hiện rõ dải hấp thụ methane ở sóng 2 micrometre, một đặc điểm trước đó chỉ được quan sát thấy trong khí quyển của những hành tinh khí khổng lồ và trong khí quyển vệ tinh Titan của Sao Mộc. Sự hấp thụ methane không thể diễn ra ở những nhiệt độ của các ngôi sao dãy chính. Khám phá này giúp hình thành một lớp quang phổ khác thậm chí còn lạnh hơn các sao lùn nâu L, được gọi là "sao lùn nâu T" với Gl 229B là nguyên mẫu.

Từ năm 1995, khi ngôi sao lùn nâu đầu tiên được xác định, hàng trăm sao khác đã được phát hiện. Những ngôi sao lùn nâu gần Trái Đất gồm Epsilon Indi Ba và Bb, một cặp sao lùn nâu liên kết trọng lực với một ngôi sao kiểu Mặt Trời, khoảng 12 năm ánh sáng từ Mặt Trời.